Graf sinh tại Berg, Vương quốc Bayern, là con thứ 9 của Max Graf, một thợ cả làm bánh mì và Therese (nhũ danh Heimrath), con gái một chủ nông trại. Đầu năm 1900, Graf vào học trường công lập ở Aufkirchen — thuộc thị xã Berg — nằm ở vùng phong cảnh đẹp chung quanh Hồ Starnberg gần München. Sau khi người cha chết năm 1906, ông học nghề làm bánh mì và làm việc cho người anh ruột Max, người kế thừa tiệm làm bánh mì của cha ông.

Năm 1911, hy vọng một cuộc sống như một thi sĩ, ông đã bỏ trốn đến München để thoát khỏi sự ngược đãi của người anh trai mình. Ông gia nhập các nhóm người Bohemian (người du cư) và sống bằng những việc làm nhỏ chẳng hạn như giúp việc cho nhà Bưu điện hoặc cậu bé bê hàng. Năm 1912 và 1913, ông đã du hành như một kẻ lang thang ở Ticino (Thụy Sĩ) và vùng Bắc Ý.

Ngày 1.12.1914, ông phải thi hành nghĩa vụ quân sự. Một năm sau, năm 1915, tạp chí "Die Freie Straße" (đường (hay đường phố) tự do) đã in các truyện ngắn của ông lần đầu tiên. Năm 1916, Graf hầu như sắp bị phạt tù vì không tuân lệnh cấp trên. Tuy nhiên, sau 10 ngày tuyệt thực, ông được đưa vào một bệnh viện tâm thần và sau đó được cho giải ngũ.

Đầu năm 1917, Oskar Maria Graf bị bắt vì tham gia cuộc đình công của các thợ sản xuất đạn dược. Năm này ông cũng gặp Miriam Sachs - (chị) em của nhà văn Manfred George và là chị em họ của nhà văn Nelly Sachs - người sau này trở thành vợ thứ hai của ông.[1] Năm 1919, Graf lại bị bắt vì tham gia các phong trào cách mạng ở München.

Năm 1920, ông làm nhà soạn kịch tại nhà hát của giai cấp công nhân "Die neue Bühne" (Sân khấu mới) cho tới năm 1927. Ông đã làm một đột phá văn học với tác phẩm tự truyện "Wir sind Gefangene" (Chúng ta là những tù nhân) của mình, do đó cho phép ông sống như một tác giả tự do (freelance author).

Ngày 17.2.1933, ông du hành sang Vienne để diễn thuyết, một chuyến đi khởi đầu cho sự lưu vong tự nguyện của mình. Các tác phẩm của Graf không bị thiêu hủy trong cuộc thiêu hủy sách của Đức Quốc xã (năm 1933) thời đó, mà còn được khuyến khích đọc. Tuy nhiên, ngày 12.5.1933, ông đăng trên tờ báo "Arbeiterzeitung" (Báo của người lao động) ở Vienne lời kêu gọi chống Quốc xã nổi tiếng mang tên Verbrennt mich! ("Hãy đốt cháy tôi!").[1] Ông cảm thấy bị Đức Quốc xã lợi dụng vì hiểu lầm nội dung Völkisch movement (Phong trào dân tộc).

Một năm sau, năm 1934, các sách của ông bị cấm ở Đức. Ngày 16.2.1934, ông di cư sang Brno ở Tiệp Khắc. Ngày 24.3 Graf bị Đức Quốc xã trục xuất khỏi nước. Ông rời Brno sang Moskva tham gia Đại hội lần thứ nhất các nhà văn theo chủ nghĩa xã hội.

Năm 1938, ông rời châu Âu sang Hoa Kỳ qua ngả Hà Lan, rồi định cư ở thành phố New York trong tháng 7. Miriam Sachs đi theo ông, nhưng người vợ cùng con ông ở lại Đức.[1] Tháng 10 năm 1938, ông được bổ nhiệm làm chủ tịch "Hiệp hội nhà văn Hoa Kỳ gốc Đức". Năm 1942, ông cùng với Wieland Herzfelde và những nhà văn Đức di cư khác lập ra nhà xuất bản "Aurora-Verlag, New-York", tiếp theo "Malik-Verlag".

Năm 1958, Graf được nhập quốc tịch Hoa Kỳ và ông tiến hành chuyến đi sang châu Âu lần đầu sau Chiến tranh thế giới thứ hai.